아보가드로 코프

소설 속 아보가드로 코프는 딱 봐도 구글이다. 구글은 큰 수를 뜻하는 googol에서 온 이름이고 아보가드로도 마찬가지(아보가드로 상수). 마치 일의 기쁨과 슬픔의 우동마켓 같은 느낌.

스포일러 주의

아보가드로 코프의 주력 서비스 중 아보메일(지메일? ㅋㅋㅋ)이 있는데, 메일 내용을 대충 쓰면 AI가 알아서 잘 다듬어주는 기능이 추가된다. AI가 점점 더 잘(?) 작동하기 시작하면서 스스로의 발전을 위해 메일을 점점 더 대담하게 고치기 시작하고 종국에는 어찌저찌 된다는 내용.

구글 I/O 2023에서도 AI가 메일을 대신 써주거나 개선해주는 시연을 했다. 소설과 현실의 차이라면, 소설과 달리 현실에서는 (적어도 아직까지는) AI는 제안만 하고 인간에게 제어권이 있다는 점. 다만 넛지 등 선택 설계나 소위 ‘다크패턴’ 등이 인간의 결정에 영향을 미치는 정도를 생각해보면, 명시적 제어권이 있다는 사실만으로 안심할 수는 없겠다는 생각이 든다.

이메일 AI가 스스로의 코드를 수정할 수 있도록 백도어가 열리는 시점이 소설 속에서의 결정적 순간이었던 것 같다. 소위 ‘재귀적 자기 개선recursive self-improvement’이 가능해진 것. 다만 소설의 결론부는 좀 황당해지는데 AI가 스스로를 물리적으로 보호하기 위해 무기를 발주하기 시작함.

AI가 굳이 스스로를 물리적으로 보호할 필요가 있나? (마치 쌀처럼) 인간이 AI에 의존하게 만들어서 인간이 AI를 보호하게 하면 충분. 예를 들어 어떤 금융 AI가 인류 전반에 상당한 부작용을 유발하지만 상위 1% 부자들에게 막대한 이익을 준다면 그들이 온갖 수단을 동원해서 AI를 보호할 것. (참고: 우발적 스카이넷)